<table class="docutils align-default">
  <thead>
    <tr class="row-odd">
      <th class="head" style="text-align: center; vertical-align: middle;">MODEL<br />FAMILY</th>
      <th class="head" style="text-align: center; vertical-align: middle;">MODEL NAME<br />(Huggingface hub)</th>
      <th class="head" style="text-align: center; vertical-align: middle;">BF16</th>
      <th class="head" style="text-align: center; vertical-align: middle;">Weight-Only<br />Quantization<br />INT8</th>
    </tr>
  </thead>
  <tbody>
    <tr class="row-even">
      <td><p>LLAMA</p></td>
      <td><p>meta-llama/Llama-2-7b-hf</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-odd">
      <td><p>LLAMA</p></td>
      <td><p>meta-llama/Llama-2-13b-hf</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-even">
      <td><p>LLAMA</p></td>
      <td><p>meta-llama/Llama-2-70b-hf</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-odd">
      <td><p>GPT-J</p></td>
      <td><p>EleutherAI/gpt-j-6b</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-even">
      <td><p>GPT-NEOX</p></td>
      <td><p>EleutherAI/gpt-neox-20b</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-odd">
      <td><p>DOLLY</p></td>
      <td><p>databricks/dolly-v2-12b</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-even">
      <td><p>FALCON</p></td>
      <td><p>tiiuae/falcon-40b</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
    </tr>
    <tr class="row-odd">
      <td><p>OPT</p></td>
      <td><p>facebook/opt-30b</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-even">
      <td><p>OPT</p></td>
      <td><p>facebook/opt-1.3b</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-odd">
      <td><p>Bloom</p></td>
      <td><p>bigscience/bloom-1b7</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-even">
      <td><p>CodeGen</p></td>
      <td><p>Salesforce/codegen-2B-multi</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-odd">
      <td><p>Baichuan</p></td>
      <td><p>baichuan-inc/Baichuan2-7B-Chat</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-even">
      <td><p>Baichuan</p></td>
      <td><p>baichuan-inc/Baichuan2-13B-Chat</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-odd">
      <td><p>Baichuan</p></td>
      <td><p>baichuan-inc/Baichuan-13B-Chat</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-even">
      <td><p>GPTBigCode</p></td>
      <td><p>bigcode/starcoder</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-odd">
      <td><p>T5</p></td>
      <td><p>google/flan-t5-xl</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-even">
      <td><p>Mistral</p></td>
      <td><p>mistralai/Mistral-7B-v0.1</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
    <tr class="row-odd">
      <td><p>MPT</p></td>
      <td><p>mosaicml/mpt-7b</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
      <td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
    </tr>
  </tbody>
</table>
<ul class="simple">
  <li><p>🟩 signifies that the model can perform well and with good accuracy (&lt;1% difference as compared with FP32).</p></li>
  <li><p>🟨 signifies that the model can perform well while accuracy may not been in a perfect state (&gt;1% difference as compared with FP32).</p></li>
</ul>
